แท็ก

#local models

6 บทความ

LFM2.5-DSpark: โมเดล draft ขนาด 300M ที่ทำให้ LFM2.5 เร็วขึ้น 2.7 เท่าโดยข้อความที่ได้ "เหมือนเดิมทุกตัวอักษร" — และลด latency การเรียกทูลลง 57%
โมเดลใหม่

LFM2.5-DSpark: โมเดล draft ขนาด 300M ที่ทำให้ LFM2.5 เร็วขึ้น 2.7 เท่าโดยข้อความที่ได้ "เหมือนเดิมทุกตัวอักษร" — และลด latency การเรียกทูลลง 57%

20 ส.ค. 2026 Liquid AI ปล่อยโมเดล draft สำหรับ speculative decoding ของ LFM2.5 สามขนาด แต่ละตัวราว 300M พารามิเตอร์ — ทำ throughput บน H100 ขึ้นได้ถึง 2.67 เท่า (323→864 tok/s) บน MacBook M4 Max 2.27 เท่า และลด latency การเรียกฟังก์ชันลง 57% โดยเอาต์พุตไม่เปลี่ยนเลย

· อ่าน 6 นาที
Liquid AI ปล่อย QAD Q4_0 GGUF ของ LFM2.5 ทั้ง 4 ขนาด — เทรน student ให้เป็น 4-bit ตั้งแต่แรก ได้คุณภาพเท่า quant ที่ใหญ่กว่าแต่วิ่งเร็วกว่า 3–33%
โมเดลใหม่

Liquid AI ปล่อย QAD Q4_0 GGUF ของ LFM2.5 ทั้ง 4 ขนาด — เทรน student ให้เป็น 4-bit ตั้งแต่แรก ได้คุณภาพเท่า quant ที่ใหญ่กว่าแต่วิ่งเร็วกว่า 3–33%

19 ส.ค. 2026 Liquid AI ปล่อยเช็คพอยต์ QAD Q4_0 ของ LFM2.5 ทั้งสี่ขนาด (230M / 350M / 1.2B-Instruct / 2.6B) ที่ได้จากการ distill โมเดลครูความละเอียดสูงลงเป็น student แบบ quantized โดยตรง — คงคะแนนเฉลี่ยได้ 96.5–97.4% ของ BF16 พร้อมความเร็ว decode ที่เหนือกว่า quant format คุณภาพเทียบเท่า 3–33%

· อ่าน 5 นาที
Unsloth Dynamic 3.0 GGUF: บีบ Qwen3.8-27B ลงเหลือ 6.2GB แล้วยังใช้ได้ — และเบนช์มาร์กใหม่ที่ Unsloth ยอมรับเองว่าตัวเลขเดิมวัดอะไรไม่ได้จริง
เครื่องมือนักพัฒนา

Unsloth Dynamic 3.0 GGUF: บีบ Qwen3.8-27B ลงเหลือ 6.2GB แล้วยังใช้ได้ — และเบนช์มาร์กใหม่ที่ Unsloth ยอมรับเองว่าตัวเลขเดิมวัดอะไรไม่ได้จริง

Unsloth ปล่อย Dynamic 3.0 GGUF ชุดแรกสำหรับ Qwen3.8-27B เมื่อ 19 ส.ค. 2026 อ้างความแม่นยำสูงกว่าผู้ให้บริการรายอื่นเกิน 10% ที่ขนาดไฟล์เท่ากัน และมีรุ่น 1-bit ขนาด 6.2GB ที่ยังคงความแม่นยำราว 72% — แต่ส่วนที่น่าสนใจกว่าคือ Unsloth ออกแบบเบนช์มาร์กใหม่ Divergence-300 พร้อมบอกเองว่าตัวเลขที่วงการใช้กันมาตลอดนั้นวัดคุณภาพจริงไม่ได้

· อ่าน 6 นาที
Hugging Face + vLLM: แบ็กเอนด์ transformers วิ่งเร็วเท่าโค้ดที่เขียนมือแล้ว — เสิร์ฟโมเดลไหนก็ได้บน vLLM ด้วยแฟล็กเดียว
เครื่องมือนักพัฒนา

Hugging Face + vLLM: แบ็กเอนด์ transformers วิ่งเร็วเท่าโค้ดที่เขียนมือแล้ว — เสิร์ฟโมเดลไหนก็ได้บน vLLM ด้วยแฟล็กเดียว

Hugging Face ประกาศว่าแบ็กเอนด์ transformers ใน vLLM ทำ throughput ได้เท่าหรือดีกว่าอิมพลิเมนต์ที่ vLLM เขียนมือเอง ด้วยเทคนิค dynamic layer fusion ตอนรันไทม์ผ่าน torch.fx ผลคือเสิร์ฟโมเดลบน Hub ตัวไหนก็ได้ รวมถึงโมเดลคัสตอม ด้วยแฟล็ก --model-impl transformers โดยไม่ต้องรอใครมาเขียนโค้ดรองรับ

· อ่าน 5 นาที
Ollama 0.31 เร่ง Gemma 4 บน Apple Silicon เร็วขึ้นเกือบ 90% — เปิดใช้เป็นค่าเริ่มต้น ผลลัพธ์ไม่เปลี่ยน ด้วย multi-token prediction บน MLX
เครื่องมือนักพัฒนา

Ollama 0.31 เร่ง Gemma 4 บน Apple Silicon เร็วขึ้นเกือบ 90% — เปิดใช้เป็นค่าเริ่มต้น ผลลัพธ์ไม่เปลี่ยน ด้วย multi-token prediction บน MLX

29 มิ.ย. 2026 Ollama 0.31 ปล่อย multi-token prediction (MTP) สำหรับ Gemma 4 บน Apple Silicon ทำให้เจนโทเคนเร็วขึ้นเกือบ 90% บนเบนช์มาร์ก Aider polyglot (ทดสอบบน M5 Max, nvfp4) โดยเปิดใช้เป็นค่าเริ่มต้นและไม่เปลี่ยนผลลัพธ์ของโมเดล

· อ่าน 4 นาที
GitHub Copilot แอป รองรับ BYOK — รันเอเจนต์ด้วยคีย์โมเดลของคุณเอง ทั้ง OpenAI, Anthropic, Azure และโมเดลโลคอลผ่าน Ollama/LM Studio
เครื่องมือนักพัฒนา

GitHub Copilot แอป รองรับ BYOK — รันเอเจนต์ด้วยคีย์โมเดลของคุณเอง ทั้ง OpenAI, Anthropic, Azure และโมเดลโลคอลผ่าน Ollama/LM Studio

GitHub Copilot แอปเดสก์ท็อปเพิ่มการรองรับ BYOK (bring your own key) — รันเอเจนต์เซสชันด้วยผู้ให้บริการโมเดลของคุณเอง ทั้ง OpenAI, Azure OpenAI, Microsoft Foundry, Anthropic รวมถึงโมเดลโลคอลผ่าน LM Studio และ Ollama เก็บคีย์ไว้ใน OS keychain

· อ่าน 4 นาที